Tổ tiên họ Nhậm gốc gác ở tỉnh Giang Tô nhưng ông nội sống ở huyện Phố Giang, tỉnh Chiết Giang và thuộc tầng lớp giàu có.

Nhậm Chính Phi sinh ra ở Trấn Ninh, Quý Châu, Trung Quốc. Cha là Nhậm Ma Tốn (任摩逊), đầu bếp chuyên làm thịt nguội có tiếng ở tỉnh Chiết Giang. Ông Nhậm Ma Tốn phải bỏ dở việc học lên cao sau khi người cha mất. Trong thời kỳ Nhật chiếm đóng, Nhậm Ma Tốn di cư xuống Quảng Châu và làm nhân viên kế toán trong nhà máy vũ khí của chính phủ Quốc Dân Đảng. Sau năm 1949, Nhậm Ma Tốn được bổ nhiệm làm hiệu trưởng trường trung học Đô Quân số 1 (都匀一中), tại đây Nhậm Ma Tốn gặp vợ mình, là giáo viên ở trường. Cha ông gia nhập Đảng Cộng sản năm 1958.

Nhậm Chính Phi đi học tiểu học tại huyện thu vùng núi hẻo lánh ở Quý Châu. Cha của Nhậm Chính Phi sau đó trở thành hiệu trưởng của trường trung học trấn Ninh. Năm 1963, Nhậm Chính Phi đăng ký vào Học viện Công trình Kiến trúc Trùng Khánh (nay là Đại học Trùng Khánh) và được tuyển dụng vào một đơn vị kỹ thuật xây dựng sau khi tốt nghiệp. Ông tự học 3 ngoại ngữ, điều khiển tự động, điện tử số, khoa học máy tính, logic, triết học.